Joan de Havilland sinh tại Tokyo, Nhật Bản, trong một gia đình người Anh. Cha bà – ông Walter Augustus de Havilland (31tháng 8 năm 1872 – 23 tháng 5 năm 1968), tốt nghiệp ở Đại học Cambridge và đã làm giáo sư môn tiếng Anh ở Đại học Tokyo trước khi làm luật sư hành nghề ở Nhật Bản.[3] Mẹ của Joan – bà Lilian Augusta (nhũ danh Ruse; 11 tháng 6 năm 1886 – 20 tháng 2 năm 1975),[4][5] học ở Royal Academy of Dramatic Art tại London, đã từng làm nữ diễn viên kịch nghệ, rồi bỏ nghề để theo chồng sang Tokyo.[3] Bà đã trở lại sân khấu với nghệ danh "Lillian Fontaine" sau khi 2 cô con gái thành đạt trong thập niên 1940. Người chú/bác bên nội của Joan là Sir Geoffrey de Havilland (1882 – 1965), một nhà thiết kế máy bay nổi tiếng về loại máy bay De Havilland Mosquito,[6] và là người sáng lập công ty máy bay mang tên ông. Ông nội của Fontaine – mục sư Charles Richard de Havilland xuất thân từ một gia đình ở Guernsey, Quần đảo Eo Biển.[7][8]

Cha mẹ của Fontaine kết hôn năm 1914 và ly thân năm 1919, khi Lilian quyết định chấm dứt cuộc hôn nhân sau khi phát hiện việc chồng mình làm tình với các cô gái geisha; tuy nhiên, mãi tới tháng 2 năm 1925, thủ tục ly dị mới hoàn tất.[9]

Theo lời khuyên của một thầy thuốc, Lilian de Havilland đưa Joan – lúc đó là một đứa trẻ ốm yếu, bị chứng thiếu máu sau khi bị bệnh sởi và bị nhiễm streptococcal (khuẩn liên cầu) cùng người chị, Olivia, sang Hoa Kỳ.[10] Gia đình định cư ở Saratoga, California, và sức khỏe của Fontaine được cải thiện đáng kể. Fontaine học tại Los Gatos High School. Khi lên 16 tuổi, Fontaine trở về Nhật Bản sống với người cha. Tại đây Fontaine theo học trường American School in Japan và tốt nghiệp năm 1935.[11]